#relevance assessment - AI Papers Daily

Should I Be Polite to My LLM Relevance Judge? Tone as a Severity Operating-Point Shift

对 LLM 相关性法官礼貌有用吗？语气作为严重度操作点偏移

🧭 LLM-as-judge 语气鲁棒性

Independent Researcher

在 TREC DL19/DL20 上发现 prompt 语气主要改变 LLM 相关性法官的严重度操作点而非判断质量，影响校准类一致率大于排序

📌 工作参考价值（4 点）

若用 LLM 作为离线相关性/质量 judge，不要把礼貌等级当可调超参；固定 prompt tone 和模板（含 paraphrase）以降低 severity shift，上线前做 prompt 变体稳健性测试。
更应校准 LLM judge 的宽严程度，而不是追求更高 agreement：对绝对 graded label，用 human 标注数据估计 severity 偏移并做阈值/概率校准，或对 prompt 做温度与 threshold 适配。
排序指标（NDCG@10）对 tone 不敏感（最大平均变化 0.011），若只用于召回/粗排排序对比，风险较低；但需要关注 Kendall τ 下降导致的精排重排。
Query-disjoint 验证法值得借鉴：把 query 切分，用未参与 prompt 选择的 queries 评估 prompt 变化，避免过拟合 prompt 到特定 query 集合。

Eval | 2026-09-09 | cs.IR | score 7/10

ADORE：检索反馈驱动的迭代查询扩展

🧭 检索增强的迭代查询改写 ★ 深度解读

University of Waterloo · Mila – Quebec AI Institute · University of Toronto · University of California, Berkeley

将检索结果转化为结构化相关性反馈，在迭代中不断纠正扩展方向，显著提升查询扩展的检索效果

📌 工作参考价值（4 点）

检索结果作为显式反馈信号：不直接把召回文档喂给生成器，而是让 LLM 先对文档做分级相关性评估（0-3 分），再将正负例中的有效词汇和噪声词汇显式告诉模型，指导下一轮生成。电商搜索或推荐场景中的 query 改写、自动补全可借鉴此范式，用点击/转化信号自动生成结构化反馈。
分级反馈池与词汇锚定：从高分文档中提取 named entity、数字、单位等“词汇锚点”，在下一轮伪文档生成时要求模型原样复用，避免同义词置换导致匹配失败。该 trick 可直接用于电商商品搜索的 query 扩展，确保扩展词与库存索引的精确匹配，减少召回漂移。
自适应终止策略：通过质量饱和（所有 top-10 已获最高分）和覆盖率饱和（连续两轮新文档数低于阈值）自动停止迭代，避免固定轮次浪费算力。Agent 或多步推理系统中可复用此思想，在规划或检索循环中设置早期停止条件，平衡效果与延迟。
解耦生成与评估：将 reformulator 和 relevance assessor 角色分离，并使用同一 LLM 但不同 prompt，即使换用开源模型也能保持稳定。推荐系统中可借鉴此分离设计，用单独的评估模块对生成的推荐理由或扩展 query 打分，提升可控性和可解释性。

QueryRec | 2026-06-11 | cs.IR | score 9/10